Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents
层级LLM智能体中的贝叶斯自我升级:知道何时求助
🧭 层级LLM智能体自我升级决策 ★ 深度解读
Independent Researcher
把生成中途的模型求助建模为基于能力后验的最优停止问题,证明阈值策略并给出校准驱动的后悔界
📌 工作参考价值(4 点)
- 在电商/Agent 级联路由中,不只做 pre-router 或 post-verifier:引入 per-token 或 per-step 的“能力后验”B_t,在生成中途触发升级,能省下注定失败的 junior 生成成本。真实代码级联里,streaming 升级到 75% 准确率只用 0.98× junior 成本,而 post-hoc 路由要 1.41×。
- 原始 entropy / margin / probe 只能当 evidence,不要直接当概率用;用标注轨迹学 competence posterior,训练目标优化 Brier score 而不是只看 ECE。ECE 低不代表安全,Brier score 同时惩罚 calibration 和 refinement。
- 把 competence posterior 与决策阈值解耦:成本、延迟预算、senior 模型变化时,只重跑 offline backward induction 更新阈值表,不用重新训练。适合业务频繁调价、换大模型或调整延迟 SLO。
- 跨模型交接只传文本 trace、工具调用历史、检索证据,不传 hidden state / KV cache,保持模型无关;这可以复用到小模型 agent 负责长尾 query、复杂任务再升级大模型的架构。